本文讲解的是caffe中卷积过程,众所周知caffe中卷积采用的是im2col和sgemm的方式。网上已经有很多的im2col的讲解。原本不打算写这篇文章(在此不得不吐槽下,网上有不少的讲解caffe im2col的过程的文章多是错的。一些文章和caffe的具体实现对不上,真不知道他们到底有没有看caffe代码的具体实现,正是因为那些文章,浪费了不少时间。)
本文举例讲解caffe中im2col 和 sgemm的具体过程。在此之前先说明下:caffe中的数据是行优先(row-major)存储的。
im2col
一个图像 input_num=1;
图像通道 input_channel=1;
图像高 input_h=4;
图像宽 input_w=4;
kernel高 kernel_h=3;
kernel宽 kernel_w=3;
stride=1;pad=0;
卷积后,输出图像的计算公式:
output_h=(input_h-kernel_h)/stride+1;
output_w=(input_w-kernel_w)/stride+1;
如下图,(注:图像中数据不代表图像的颜色数值)
原图(图a)按照从左到右、从上到下的过程,将(a)中大小为3*3
(因为kernel大小为3*3
)的矩阵拉成右图(图b)中的一列。具体过程如下图所示:
多通道的im2col
假设有三个通道(R、G、B)图像通道 input_channel=3;
图像在内存中的存储是:首先是连续存储第一通道的数据,然后再存储第二通道的数据,最后存储第三通道的数据。如下图:
多通道的im2col的过程,是首先im2col第一通道,然后在im2col第二通道,最后im2col第三通道。各通道im2col的数据在内存中也是连续存储的。如下图:
kernel
图像的每个通道对应一个kernel通道,如下图(注:为计算简单,将kernel的值设置为1,同样此值不代表颜色数值。)
kernel的通道数据在内存中也是连续存储的。所以上面的kernel图像也可以表示为下图:
矩阵乘 sgemm
在caffe中图像与kernel的矩阵乘,是kernel*img
。即:在矩阵乘法中
1 | M=1, |
如下图所示:
图像数据是连续存储,因此输出图像也可以如下图所示【output_h * output_w】=【2*2】
:
多通道图像输出
在caffe中图像与kernel的矩阵乘中:
1 | M=output_channels , |
如下图:
同样,多个输出通道图像的数据是连续存储,因此输出图像也可以如下图所示【output_channels*output_h * output_w】=【3*2*2】
,